import pandas as pd
from bs4 import BeautifulSoup
# import chardet
#
# # 检测文件编码
# with open('blog_8.csv', 'rb') as f:
#     result = chardet.detect(f.read())
#
# print(result)
# 读取 CSV 文件
df = pd.read_csv('blog_8.csv', encoding='Windows-1252')  # 请替换为你的 CSV 文件路径


# 定义一个函数来去除 HTML 中的 style 属性
def remove_styles(html_content):
    # 解析 HTML 内容
    soup = BeautifulSoup(html_content, 'html.parser')

    # 去除所有标签中的 'style' 属性
    for tag in soup.find_all(True):  # 遍历所有标签
        if 'style' in tag.attrs:  # 如果标签中有 'style' 属性
            del tag.attrs['style']  # 删除该属性

    # 返回去除样式后的 HTML
    return str(soup)


# 定义一个函数来提取纯文本
def extract_plain_text(html_content):
    # 解析 HTML 内容并提取纯文本
    soup = BeautifulSoup(html_content, 'html.parser')
    return soup.get_text()


# 应用函数到 'post_content' 列，创建两列
df['Article_Clean'] = df['post_content'].apply(remove_styles)  # 去除样式后的 HTML
df['Article_Original'] = df['post_content'].apply(extract_plain_text)  # 纯文本内容

# 保存修改后的 DataFrame 到新 CSV 文件
df.to_csv('output.csv', index=False)  # 请替换为你希望保存的文件路径
